# -*- coding:utf-8
import sys
import os
import re

from pdfminer.pdfparser import PDFParser,PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal,LAParams
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed


'''
 解析pdf为文本， 保存到txt文件中
'''
path = r'demo.pdf'
def parse():
    # 以二进制读模式打开
    fp = open(path, 'rb')
    # 用文件对象来创建一个pdf文档分析器
    praser = PDFParser(fp)
    # 创建一个PDF文档
    doc = PDFDocument()
    # 连接分析器 与文档对象
    praser.set_document(doc)
    doc.set_parser(praser)
 
    # 提供初始化密码
    # 如果没有密码 就创建一个空的字符串
    doc.initialize()
 
    # 检测文档是否提供txt转换，不提供就忽略
    if not doc.is_extractable:
        raise PDFTextExtractionNotAllowed
    else:
        # 创建PDf 资源管理器 来管理共享资源
        rsrcmgr = PDFResourceManager()
        # 创建一个PDF设备对象
        laparams = LAParams()
        device = PDFPageAggregator(rsrcmgr, laparams=laparams)
        # 创建一个PDF解释器对象
        interpreter = PDFPageInterpreter(rsrcmgr, device)
 
        # 循环遍历列表，每次处理一个page的内容
        for page in doc.get_pages(): # doc.get_pages() 获取page列表
            interpreter.process_page(page)
            # 接受该页面的LTPage对象
            layout = device.get_result()
            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
            for x in layout:
                if (isinstance(x, LTTextBoxHorizontal)):
                    with open(r'demo.txt', 'a', encoding='utf-8') as f:
                        results = x.get_text()
                        f.write(results + '\n')


def mergetxt():
    # 合并手工生成的txt文件

    # 文件夹目录
    path = "D:/6.temp/job/analysis_safety/iso26262-2018txt/"

    # 得到文件夹下的所有文件名称
    files = os.listdir(path)

    # 遍历文件
    for file in files:
        # 仅合并txt文件
        if file.split('.')[-1] == 'txt':
            # 将打开的文件内容保存
            f = open(path+"\\"+file, 'r', encoding='utf-8').read()
            # 以追加模式打开文件
            merged = open(path+"\\"+'demo.txt', 'a+', encoding='utf-8')
            # 写入文件
            merged.write(f)
        print('file merged：' + file)


def getword():
     # 读取文件
     f=open('demo.txt', 'r', encoding='utf-8')
     # 将大写转化成小写
     word=f.read().lower()
     # 关闭文件
     f.close()

     #利用正则仅保留字母
     str = re.sub(r"[^a-zA-Z]+", " ", word)

     #拆分成列表
     list = str.split(" ")

     # 去除多余的空格
     list.remove("")
     #print(list)

     return list


def statistics():
    # 定义一个空的字典，在后面的运算中逐步添加数据
    dict={}
    words=getword()
    # 遍历整个列表
    for word in words:
        # 判断当前单词是否已经存在 dict.keys()是已存进字典中的单词
        if word in dict.keys():
            # keys()方法返回字典中的所有键
            # 在当前单词的个数上加 1
            dict[word]=dict[word]+1
        else:
            # 当前单词第一次出现时 会把单词写入dict字典里 格式为 ‘单词’=1
            dict[word]=1
    #排序
    w_order=sorted(dict.items(), key=lambda x:x[1], reverse=True)
    # print(dict.items())
    # dict.items()返回的是列表
    # 按字典集合中，每一个元组的第二个元素排列。
    # sorted会对dict.items()这个list进行遍历，把list中的每一个元素，也就是每一个tuple()当做x传入匿名函数lambda x：x[1],函数返回值为x[1]
    # reverse属性True为降序 False为升序
    
    # 返回排序后的列表
    return w_order


def writefile():
    w_order=statistics()
    f = open('result.txt', 'w', encoding='utf-8')
    print("文章单词总个数:", +len(getword()), file=f)
    print("文章单词总个数:", +len(getword()))

    # 写入文件
    print("词频最高的10个单词和次数", file=f)
    print("词频最高的10个单词和次数")

    # 将列表的前十位提取并且遍历 输出key(单词)和values(次数)
    w_order10=w_order[:10]
    for key,values in w_order10:
        print(key, ':', values, file=f)
        print(key, ':', values)

    # 遍历列表中的所有数据
    print("统计结果", file=f)
    for key,values in w_order:
        print(key, ':', values, file=f)
    f.close()

    # 字母排序
    sorted = w_order
    sorted.sort()
    fword = open('words.txt', 'w', encoding='utf-8')
    for key,values in sorted:
        print(key, file=fword)
    fword.close()


from bing import *

def get_des(word):
    global getword
    global des

    getword=word

    try:
        des = bing(getword)
    except AttributeError:
        des= '找不到此单词释义，请重试'
        return False
    except UnicodeEncodeError:
        des = '请输入正确的英文或者中文（UnicodeEncodeError）'
        return False
    except NameError:
        des = '请输入正确的英文或者中文（NameError）'
        return False
    else:
        return True


import store

def translate():
    # 读取文件
    f=open('words.txt', 'r', encoding='utf-8')

    words=f.read()

    # 关闭文件
    f.close()

    #拆分成列表
    list_words = words.split("\n")

    for word in list_words:
        print(word)

        if get_des(word):
            try:
                print(getword, des)
                store.store_word(getword, des)
            except NameError:
                print('\n请输入正确的英文或者中文（NameError）\n\n')
            else:
                print('\n-----已添加到生词本-----\n\n')
        else:
            print('\n-----nothing to do-----\n\n')

    return


if __name__ == '__main__':
    #parse()
    #mergetxt()

    writefile()
    
    #get_des('word')
    translate()
    store.make_package()
    
